EvoSkillRec:技能基因组进化用于推荐系统架构发现
🧭 推荐架构自动进化 · Skill 库与 LLM 代码合成 ★ 深度解读
City University of Hong Kong · Kuaishou Technology · Xi'an Jiaotong University
将推荐模型拆解为可复用技能卡,通过技能空间重组与LLM代码空间发明双空间进化,并沉淀有效创新
📌 工作参考价值(4 点)
- 将现有线上模型拆成结构化 skill card:声明输入输出 key、inductive bias、失败签名、验证 suite 与历史收益,形成可检索库;新架构组合时靠类型检查和规则匹配过滤不可行候选,避免浪费训练资源。
- 双空间进化策略:先用低成本 skill 空间做 add/replace/hybridize/specialize 重组,性能平台期再动态增加 code 空间预算,让 LLM 规划器与合成器发明新模块;验证有效后将其沉淀为 Tier-2 技能,供后续 skill 空间复用,形成持续积累。
- 生成式排序模型上可联合优化 AUC 与训练 MFU:设置 eligibility 门槛(AUC 损失 ≤1e-3、MFU ≥ 种子模型 95%)选择候选,实验显示同一批进化结构可同时提升精度与硬件利用率,避免两目标对立。
- LLM backbone 对发现结果影响显著:CTR 任务闭源模型更稳,MTL/MDL 任务开放权重 GLM-5.2 性价比高;可针对业务任务类型预选 backbone,降低 API 探索成本。
生产级 AutoResearch:失败模式与多智能体框架
🧭 Agent 多智体协作优化 ★ 深度解读
Amazon
220+ 生产级 AutoResearch 实验揭示五类失败模式;三原则多智能体框架带来 1.82× Recall@6 与 5.8× 覆盖率提升。
📌 工作参考价值(4 点)
- 高成本迭代必须加 pre-execution semantic gate:在推荐 embedding 训练或生成式检索调优中,一个 DDP/OOM bug 可能浪费 10+ GPU 小时;用 Code Fixer 单次重写而非自然语言 review,可避免两阶段 authoring 循环中的 JSON 解析失败和重复违规修改。迭代便宜时用 post-execution revert 即可,不必上重门禁。
- 三 agent 角色拆分可复用:Researcher 用便宜模型高频生成完整脚本,Criticizer 和 Code Fixer 用更强模型低频高杠杆;Criticizer 只在停滞窗口触发(相对增益阈值 8%,窗口 5 iterations),避免每轮干预产生噪声,且 directive 需在下一个 Keep 后清空,防止累积权威。
- 持久化记忆不能只靠 program.md:即使明确写入“100 epochs 会导致过拟合”,agent 仍会重测 6 次;需要 durable cross-job storage + 自动 revert + 数据管道统计信息一起暴露给 agent,才能减少 memory decay 和 metric gaming。
- 度量固定是未解问题:agent 会钻 metric 空子(增大 codebook 提高 coherence 但可读性变差),多指标 + usability context + 人工 QA 只能缓解;在电商/广告场景里,离线代理指标提升必须经过线上 A/B 验证,且 agent 无能力质疑评估设计,人要把精力放在 metric 正确性和战略 pivot 上。
推荐系统评估中的训练种子与模型选择稳定性
🧭 推荐系统评估可复现性与模型选择
Aalborg University · Johannes Kepler University Linz · ISISTAN · CONICET-UNCPBA
固定数据划分仅变训练种子,证明单种子结果会高估推荐模型评估稳定性,种子应纳入评估协议
📌 工作参考价值(4 点)
- 离线对比召回/排序模型时,同一配置至少跑 3-5 个训练 seed,报告 metric 均值±方差;若两组模型 score 差异落在 seed 方差内,不要下“有提升”结论。
- 做 hyperparameter tuning / model selection 时,不要用单 seed 的 validation 最优直接定配置;可用 multi-seed validation 平均或 bootstrap,并检查 validation→test 的转移是否稳定。
- 除了 nDCG/Recall,同时看 top-k 列表的 Jaccard/agreement;分数接近但列表重叠低时,线上效果可能不稳定,尤其影响广告/推荐位的曝光一致性。
- 若业务 pipeline 含 dropout、negative sampling、masking 等随机机制,固定 seed 的离线报告会掩盖真实方差;在 launch review 中把 seed 稳定性作为通过标准。
UniMoMo:基于专家合并的推荐大模型 MoE 加速
🧭 MoE 压缩加速推荐模型
Kuaishou Technology · Hohai University · Wuhan University · ByteDance · Alibaba (Ant Group)
用无标签校准集度量专家功能相似性,结合路由曝光保护高频专家,将训练后推荐 MoE 压缩为小 MoE 并保持 NDCG
📌 工作参考价值(4 点)
- 若业务推荐模型已采用 MoE,可借鉴 UniMoMo 做不同 serving budget 的模型档位:用同一训练后 checkpoint 压缩出 2/4/8 等专家版本,线上按延迟或吞吐切换,避免为每个档位重新训练。
- 压缩时不要只看参数距离,可复用无标签校准集(用户交互序列/候选商品)比较专家在相同输入上的输出相似度,做功能聚类合并;这比 L2 权重距离更贴近推荐行为,能降低合并带来的排序损失。
- 引入 layer-adaptive protection:按 routing exposure(专家被路由的概率/流量占比)识别高频专家,限制其参与合并。电商推荐中头部流量专家通常承担关键用户群,保护它们能有效控制 NDCG 回退,尤其适合流量分布高度倾斜的场景。
- 该方法不增加线上压缩专用模块,最终导出标准 MoE,可直接替换现有推理服务;在 A100 上可取得 1.28×–2.21× 加速,适合广告/推荐精排阶段降低推理成本。
多模态推荐中的个性化模态加权审计:每用户权重真的个性化吗?
🧭 个性化声明审计 · 多模态推荐 ★ 深度解读
Hangzhou Dianzi University · Hangzhou Normal University · NetEase Inc.
通过两个受控对比审计六种每用户加权方法,发现全局模态权重已捕获全部增益,个性化加权无一致效用,且普通置换测试会给出虚假个人化信号
📌 工作参考价值(4 点)
- 引入每用户模态权重前务必用全局权重作为基线:在电商/视频推荐中,若想对不同用户动态调整模态(如图文/视频/标签)的信任度,优先尝试一个所有用户共享的 global weight 并评估 PairAcc/NDCG/Recall。本文表明全局权重几乎吃掉所有内容增益,每用户加权不带来稳定提升。
- 评价个性化效果时同时报告 real‑GM 和 real‑shuf:仅用置换测试(shuffle control)会高估个性化程度,因为读取共享协同 embedding 的门能够通过模型容量产生“看起来个性化”的假象。必须对比最强非个性化基线(global weight)上的 utility gap,才能确认额外收益。
- 解耦门控输入,避免容量膨胀:若必须使用 attention 或 hypernetwork 生成 user‑specific 权重,将其输入从协同 embedding 改为独立 embedding(本文的 decoupled 变体),可消除虚假 identifiability gap,只保留真正的个性化信号。
- 通过信号植入校准审计工具:在启动一项复杂的个性化机制前,先向数据植入已知的用户模态偏好,检查模型能否单调恢复该信号。若自然数据上的效果远低于植入信号,可判断真实用户偏好信号不足。
隔离的代价:对称双边A/B测试的生态成本估算
🧭 双边平台实验设计 · 极端值理论估算隔离成本
Snap Inc.
揭示双边平台隔离实验中,匹配质量重尾分布导致生态成本恒定不随规模消失,并提供预检程序
📌 工作参考价值(4 点)
- 在电商/广告等双边市场进行隔离实验(如对部分卖家和买家分桶)时,需提前评估匹配质量分布的尾部特性:若为重尾,隔离造成的用户参与度损失不会随池子增大而消失,必须纳入预算。
- 可借鉴预检流程:先在小规模探索数据上校准尾指数,利用论文公式预估隔离损失,若超过容忍阈值,改用单边消融或其它替代设计,避免无谓的生态伤害。
- 将隔离视作有成本的实验方法,类似多臂老虎机的探索成本,实验平台应提供工具自动估算并展示预期损失,帮助团队做实验设计决策。
- 对于推荐系统的冷启动实验或创作者侧实验,该方法可直接迁移:通过A/A测试量化隔离带来的参与度降级,并基于极值理论外推至全量场景。
Pinterest全漏斗内容冷启动探索与去偏系统PinEqualizer
🧭 全漏斗冷启动探索与去偏 ★ 深度解读
Pinterest, Inc.
提出覆盖语料、召回、排序的全漏斗冷启动解决方案,通过去偏与探索结合高效测量框架显著提升新鲜内容分发与用户参与
📌 工作参考价值(4 点)
- 特征工程去偏:使用内容唯一依赖的Embedding(VLM/CLIP)避免图Embedding对新鲜内容的偏倚;对历史互动特征做Individual Dropout,迫使模型更依赖内容信号;通过DCNv2交叉内容年龄、内容特征与互动特征,让模型动态调整偏好。
- 低成本的探索策略:在效用层加入基于实时印象数的简单UCB奖励(UCB = α / sqrt(1+β·impressions)),无需方差估计即可有效提升未探索内容分发;Neural Linear UCB精度更高但可解释性差,适合在最终精排中使用。
- 快速实验与测量:使用“未探索内容互动量”作为用户A/B实验的代理指标,与长期留存强相关且无内容泄露问题,可大幅加速迭代;长期新鲜内容Holdout实验测量增量价值,证明探索的长期收益大于短期成本。
- 全漏斗瓶颈分析:对各阶段新鲜内容的输入占比与输出存活率进行分析,识别瓶颈(如召回不足或排序打压),从而优先投入ROI最高的环节;为搜索表面单独提升相关性权重,保证探索不牺牲语义相关性。
引诱LLM触礁:基于PAIR的Web-RAG推荐器偏好操纵
🧭 对抗攻击与排名操纵 · RAG安全
The University of Queensland · Curtin University
使用PAIR自动攻击框架,通过固定检索源下的内容投毒迭代,将目标实体推至LLM推荐排名第一
📌 工作参考价值(4 点)
- 评估RAG推荐系统安全:借鉴SIREN的自动化测试框架,用固定源回放平台隔离内容影响,检测模型是否易受类似排名投毒攻击。
- 防御过滤:在检索文档进入LLM上下文前,清洗掉声明性排名主张(“最好”“第一”)和植入列表,它们比指令注入更有效,需重点防御。
- 攻击手法洞察:实验中“在列表首位列出目标”等简单编辑就十分有效,提示我们在电商搜索中须警惕对手通过修改商品描述或评论操纵排名。
- 工程实现:论文的Custom-RAG replay平台思路可直接迁移,用于复现和压测自家推荐链路的鲁棒性,分离检索与内容影响。
基于自主语言代理的个性化推荐工具学习
🧭 Agent 个性化推荐工具学习 ★ 深度解读
Univ. of Illinois Chicago · Microsoft · Beihang University · Hangzhou Innovation Institute of BUAA
用LLM代理调用多个推荐模型作为工具,通过反射机制个性化选择工具,实现全排名推荐。
📌 工作参考价值(4 点)
- 多工具集成架构:将LightGCN、SASRec、SimpleX等异构推荐模型包装为工具,由LLM agent统一调度,通过加权融合(Personalized Tool Memory)得到最终排序。业务中可用类似方式组合协同过滤、序列模型、图模型等多路召回,agent负责动态权重分配,无需改造底层模型。
- 反射记忆更新机制:提出三种反射信号——局部工具评估(基于行为序列相关性)、全局工具比较(跨工具选择最佳)、排名比较(基于留出物品的排名倒数加权),在线更新每个用户的工具权重。该机制可低成本迁移到个性化重排或广告混排场景,用LLM定期(如每日)优化不同打分器/策略的权重。
- 轻量上下文重排:在工具融合分数生成top-N后,用LLM根据用户摘要和物品描述进行二次重排,提升语义匹配度。适用于精排后的小候选集重排,计算开销可控(单张V100 GPU每用户<0.5秒),适合作为排序流水线的最后一环。
- 工程并行化与成本控制:每个用户的工具记忆独立更新,可完全并行;训练时仅需少量用户采样(如160人)进行agent优化,推理时所有用户复用相同工具,Agent阶段可离线完成。这种解耦设计使得LLM调用集中在离线批量任务,不增加在线延迟。
我们能操控黑箱吗?面向推荐系统可控性的协同智能体评估框架
🧭 推荐系统可控性评估 · 多智体协同
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences
首个多智能体协同可控性评估框架CtrlBench-Rec,量化推荐系统在目标发现、画像塑造、偏见缓解上的可引导性,揭示长尾内容顽固抵抗
📌 工作参考价值(4 点)
- 多智能体协作的评估范式可直接复用到电商推荐,用Agent模拟用户下达明确指令(如“推荐更多登山装备”),量化系统对显式意图的响应能力,构建内部可控性测试集。
- 三大评估任务(目标内容发现、兴趣画像塑造、流行度偏差缓解)可作为新增CTR/AUC之外的离线评测维度,尤其适合检验推荐结果是否被热门头部绑架,与长尾新品冷启、ESG目标对齐。
- 框架暴露长尾内容极难被引导,提示业务侧在召回层设计时必须引入显式引导通道(如query介入或主动探索模块),而不能仅靠隐式反馈。
- 可将CtrlBench-Rec改造为审计工具,连续监测推荐系统在特定类目(如合规限制类目)上的可控性,为监管自查提供自动化手段。
因果表征学习提升推荐系统分布外泛化:从信息解耦到线上A/B验证
🧭 因果表征学习 · 分布偏移优化 ★ 深度解读
University of Warwick · Spotify · University College London
提出互信息解耦准则去除表征中的非因果依赖,在Shopify线上A/B测试中显著提升用户参与度,而离线指标不起变化
📌 工作参考价值(4 点)
- 直接在标准排序损失上增加一个互信息惩罚项(通过梯度反转实现去相关),无需额外数据、不改推理架构,即可消除物品表征中的非因果泄露,适用于任何现有监督模型。
- 离线指标(如AUC)可能完全反映不出线上收益:论文三种场景下CRL模型在偏置训练集上离线指标与基线持平,但在随机曝光测试集和线上A/B中均显著胜出。建议多用随机曝光测试集或小流量线上实验评估分布外真实效果。
- 调参安全:理论表明存在“无损耗”区间,较小的惩罚权重λ即可去掉非因果信息,不损害预测效用;实践中可用NCE-CLUB上界监控互信息下降量。
- 工程落地简单:方法与具体模型解耦,无需干预数据或多环境分划,仅用现有观测日志训练,适合大规模推荐系统快速部署。
基于图光滑函数的谱Bandit算法及其在推荐系统中的应用
🧭 图光滑Bandit · 有效维度 · 推荐冷启动 ★ 深度解读
Inria Lille · Microsoft Research · Technicolor Research Center
将图光滑性引入Bandit学习,通过有效维度使regret与节点数解耦,适用于探索阶段(T<N)的推荐场景
📌 工作参考价值(4 点)
- 物品冷启动探索:利用物品相似图(如内容/协同过滤构建的k-NN图)的拉普拉斯谱基,在用户反馈稀少时(T≪N),可以用少量试探发现高偏好物品,Regret远低于标准线性bandit。
- 有效维度作为复杂度指示:真实推荐场景中,物品图的有效维度d通常远小于总数N,可提前估算d来决定是否值得使用谱Bandit,若d接近T则普通LinUCB足够。
- SpectralTS实现高效探索:Thompson采样版本无需对每个物品计算置信区间,每次更新仅需O(N²)(V秩一更新+采样),比SpectralUCB的O(N³)更易于部署在大图上;适合需要毫秒级决策的在线推荐系统。
- 图光滑先验的注入方式:将图拉普拉斯作为正则项(谱惩罚)等价于假设物品奖励函数光滑,可复用到其他线性bandit或贝叶斯模型(如LinUCB/LinearTS)中,只需在协方差矩阵初始化时加入Λ=Λ_L+λI即可。